显卡比较：Tesla T4 与 RTX3090Ti 性能对比；深度学习方向效率对比；

2023-11-19 06:02| 来源: 网络整理| 查看: 265

部分数值由于厂家不同，略有出入 Nvidia Tesla T4 Nvidia RTX 3090Ti 该参数的作用架构 Turing架构 Ampere架构 VERSUS网评分 52分 94分综合评分 Tensor核心数 320个Tensor Core 656个Tensor Core 张量核支持混合精度计算，动态调整计算以加快吞吐量，同时保持精度。 CUDA数量 2560 10725 CUDA运算速度只和核心频率有关，而CUDA核心数量则决定了显卡的计算力的强弱。（比如，一项渲染任务，可以拆分为更多份交给不同的CUDA核心进行处理）单精度浮点性能(FP32） 8.1FLOPS 代表显卡的浮点计算能力，越高算力越强。半精度浮点数(FP16) 65TFLOPS INT4浮点性能 260TFLOPS 浮点性能 7.76 TFLOPS 40 TFLOPS 浮点运算性能是衡量GPU处理器基本马力的方法 AI计算运行速度 320TFLOPS 显存带宽（存储器带宽） 320 GB/s 1008 GB/s 指显示芯片与显存之间的数据传输速率，它以字节/秒为单位。显存带宽是决定显卡性能和速度最重要的因素之一。显存类型 GDDR6 GDDR6X 显存大小（VRAM） 16G 24G 是显卡的专用内存。决定batch_size的上限内存总线宽度（显存位宽） 256bit 384bit 更宽的总线宽度代表在每个电脑运行周期能处理更多的数据。（代表GPU芯片每个时钟周期内能从GPU显卡中读取的数据大小，值越大，代表GPU芯片与显存之间的数据交换的速度越快。） GPU时脉速度 1005MHz 1670MHz 核心频率 1582Mhz 1560MHz 只显示核心的工作频率，其工作频率在一定程度上可以反映出显示核心的性能。超频频率（GPU TURBO） 1590MHz 1890MHz 当cpu运行低于其限制速度时，其会促进更高的时钟速度，从而获得更高的性能。纹理速率像素率功率 75w 450w

1. GPU的计算能力的衡量指标：显存大小、CUDA数量、计算主频；

2. 描述GPU计算能力的指标：计算峰值；存储器带宽；

3. GPU的计算峰值在进行边缘计算的时候是非常重要的。

　　单精度计算能力的峰值 = 单核单周期计算次数 * 处理核个数 * 主频；

FLOPS是每秒所执行的浮点运算次数，也就是GPU计算的基本单位；TFLOPS：每秒一万亿次的浮点运算；

GPU计算浮点数的理论峰值 = GPU芯片数量 * GPU Boost主频 * 核心数量 * 单个时钟周期内能处理的浮点计算次数；

4. 带宽：带宽由频率和位宽两个因素所决定；计算公式为：带宽=频率*位宽/8

个人总结：

1. 个人觉得，这么看下来，显卡就是看：能存多少；存的有多快；算的有多快；对应就是：显存大小；带宽；浮点速度；

2. 在不考虑显存上限前提下，带宽，浮点速度同时影响GPU的性能；

3. 从上图所示，T4的处理速度是3090Ti的1/5，但交换速度同时也更慢，在1/3左右。因此T4的整体深度学习速度，大概会在 3090Ti的0.16倍~0.06倍之间；

（简单估算，若不合理，请指教）；

参考：深度学习GPU显卡的浮点计算性能指标分析 - 百度文库 (baidu.com)

【本文地址】

公司简介

联系我们